Day 10 Self-attention(四) 要如何平行運算? - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2021 iThome 鐵人賽

DAY 10

0

AI & Data

Attention到底在關注什麼？系列第 10 篇

Day 10 Self-attention(四) 要如何平行運算?

13th鐵人賽

2021-09-10 20:24:19

1785 瀏覽

分享至

Self-attention

昨天講到要怎麼用input的四個vector，a1、a2、a3、a4來產生b1
但是今天沒有要介紹b2到b4是怎麼產生的，因為這幾個值的產生方法都跟b1一樣

b1到b4這幾個值並不是依序產生的，而是平行被計算出來的

那這幾個值是怎麼被平行計算出來的呢?

平行計算的方法是利用線性代數的方法做矩陣運算，把a1~a4串成一個向量
產生的結果就會得到Q、K、V這三個矩陣

由於明天有點事情，今天的進度明天會再補上
今天先打到這邊

Day 9 Self-attention(三) input相關聯性計算

Day 11 Self-attention(五) KQV矩陣整理

系列文

Attention到底在關注什麼？共 30 篇

目錄

RSS系列文訂閱系列文

8 人訂閱

完整目錄

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友留言

立即登入留言

參賽組數

1064 組

團體組數

40 組

累計文章數

22200 篇

完賽人數

602 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙